共 1 个相关内容
同一张 GPU,跑同一个模型,吞吐能差 5 倍。差别几乎全在 KV Cache 的显存管理上。本文讲清 KV Cache 怎么吃显存、PagedAttention 解决了什么、以及压吞吐的四个旋钮。